kafka topic数量上限

您所在的位置:网站首页 kafka topic上限 kafka topic数量上限

kafka topic数量上限

2024-07-10 06:34| 来源: 网络整理| 查看: 265

353051ad5f8326ca41dc572fe9534473.gif

在技术架构体系中非常多的场景会使用到消息队列,Kafka作为最常用的消息中间件,以高性能低延迟高可用的特性备受程序员和架构师的青睐。了解kafka的原理是使用kafka的入门基础,要想用的好kafka更需要有一些规范来约束。本文将从kafka集群配置、生产者、消费者三方面来说一下个人认为应该指向的规范。

集群配置

CPU、内存、磁盘、网络是影响服务器性能的主要因素。

CPU

由于生产者会对消息的数据进行压缩,所以服务端接收消息之后需要解压缩并设置偏移量后重新压缩,最后消费者收到数据后再解压缩。对于CPU而言当然越多的CPU核心约好。但是要注意不要造成浪费。

内存

Kafka的Borker收到生产者的消息之后是先写入操作系统的Page Cache,当Page Cache达到一定大小或者是定时同步PageCache到磁盘文件。因此Kafka的Borker不能与其他重要通用依赖操作系统PageCache的程序(比如ES)部署在一起,否则将会影响页缓存互相影响性能。

磁盘

生产者必须等到一个Borker确认消息成功之后提交才结束,如果服务端IO磁盘吞吐跟不上,意味着生产者并发不会高。另外磁盘大小又决定的kafka集群的数据存储量。所以如果追求极致性能建议直接上SSD。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3